最近，机器学习在学习数据方程和动态系统方面被证明有效。但是，通常认为数据源自单个永不改变的系统。相反，当对现实世界动态过程进行建模时，由于基础系统动力学的变化，数据分布通常会发生变化。对这些过程的持续学习旨在迅速适应突然的系统变化，而不会忘记以前的动态制度。这项工作提出了一种基于储层计算的持续学习方法，储层计算是一种针对复杂时空动力学系统训练复发性神经网络的最先进方法。储层计算修复了经常性的网络权重 - 因此，这些重量无法忘记 - 仅将线性投影头更新到输出。我们建议同时培训多个竞争预测主管。受神经科学的预测编码的启发，只有最预测的头部激活，横向抑制，从而保护不活动的头部免受干扰参数更新引起的忘记。我们表明，这种多头储层可最大程度地减少在几种动态系统上的干扰和灾难性遗忘，包括Van-der-Pol振荡器，混沌Lorenz吸引者和高维Lorenz-96天气模型。我们的结果表明，储层计算是一个有前途的候选框架，用于持续学习动态系统。我们在\ url {https://github.com/leonardbereska/multiheadheadreservoir}上为数据生成，方法和比较提供代码。
translated by 谷歌翻译
因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。
translated by 谷歌翻译
由于一系列理想的模型属性，卷积神经网络（CNN）的使用在深度学习中被广泛扩展，这导致了有效有效的机器学习框架。但是，必须将CNN架构定制为特定任务，以结合输入长度，分辨率和尺寸的考虑因素。在这项工作中，我们通过连续的卷积神经网络（CCNN）克服了针对特定问题的CNN体系结构的需求：一个配备了连续卷积内核的单个CNN体系结构，可用于根据任意分辨率，维度，长度和长度的数据进行任务，而无需结构性长度变化。连续的卷积内核在每一层的远距离依赖性模型，并消除当前CNN体系结构中所需的降采样层和任务依赖性深度的需求。我们通过将相同的CCNN应用于顺序（1 $ \ mathrm {d} $）和视觉数据（2 $ \ mathrm {d} $）上的一系列任务来显示我们方法的普遍性。我们的CCNN竞争性能，并且在所有考虑的所有任务中通常都优于当前最新的。
translated by 谷歌翻译
We aim for image-based novelty detection. Despite considerable progress, existing models either fail or face a dramatic drop under the so-called "near-distribution" setting, where the differences between normal and anomalous samples are subtle. We first demonstrate existing methods experience up to 20% decrease in performance in the near-distribution setting. Next, we propose to exploit a score-based generative model to produce synthetic near-distribution anomalous data. Our model is then fine-tuned to distinguish such data from the normal samples. We provide a quantitative as well as qualitative evaluation of this strategy, and compare the results with a variety of GAN-based models. Effectiveness of our method for both the near-distribution and standard novelty detection is assessed through extensive experiments on datasets in diverse applications such as medical images, object classification, and quality control. This reveals that our method considerably improves over existing models, and consistently decreases the gap between the near-distribution and standard novelty detection performance. The code repository is available at https://github.com/rohban-lab/FITYMI.
translated by 谷歌翻译
从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。
translated by 谷歌翻译
Modelling interactions is critical in learning complex dynamical systems, namely systems of interacting objects with highly non-linear and time-dependent behaviour. A large class of such systems can be formalized as $\textit{geometric graphs}$, $\textit{i.e.}$, graphs with nodes positioned in the Euclidean space given an $\textit{arbitrarily}$ chosen global coordinate system, for instance vehicles in a traffic scene. Notwithstanding the arbitrary global coordinate system, the governing dynamics of the respective dynamical systems are invariant to rotations and translations, also known as $\textit{Galilean invariance}$. As ignoring these invariances leads to worse generalization, in this work we propose local coordinate frames per node-object to induce roto-translation invariance to the geometric graph of the interacting dynamical system. Further, the local coordinate frames allow for a natural definition of anisotropic filtering in graph neural networks. Experiments in traffic scenes, 3D motion capture, and colliding particles demonstrate that the proposed approach comfortably outperforms the recent state-of-the-art.
translated by 谷歌翻译
贝叶斯优化（BO）的样品效率通常通过高斯工艺（GP）替代模型来提高。但是，在混合变量空间上，除GPS以外的其他替代模型很普遍，这主要是由于缺乏可以建模不同类型变量的复杂依赖性的内核。在本文中，我们提出了不同类型变量之间的频率调制（FM）内核灵活建模依赖性，以便BO可以享受进一步提高的样品效率。 FM内核使用连续变量上的距离来调节从离散变量得出的图形傅立叶光谱。但是，频率调制并不总是定义具有相似性度量行为的内核，该行为返回了更多相似点的对较高的值。因此，我们指定并证明了FM内核是正定义并表现出相似性度量行为的条件。在实验中，我们证明了使用FM内核（BO-FM）。在合成问题和超参数优化问题上提高了GP BO的样品效率，BO-FM始终优于竞争对手。同样，频率调制原理的重要性在相同的问题上得到了经验证明。关于神经体系结构和SGD超参数的联合优化，BO-FM优于包括正则演化（RE）和BOHB在内的竞争者。值得注意的是，BO-FM的性能是使用RE和BOHB的三倍，其性能比RE和BOHB更好。
translated by 谷歌翻译
使用X光片级注释（是或否疾病）和细粒病变级注释（病变边界框）开发了两个DL模型，分别为Chexnet和ChexDet。在测试集（n = 2,922）中比较了模型的内部分类性能和病变定位性能，在NIH-Google（n = 4,376）和Padchest（n = 24,536）数据集上比较了外部分类性能，以及外部病变的本地化性能性能在NIH-Chestx-Ray14数据集（n = 880）上进行了比较。还将模型与内部测试集子集的放射学家进行了比较（n = 496）。鉴于足够的训练数据，这两个模型都与放射科医生相当。 CHEXDET对外部分类有了显着改善，例如在NIH-Google上分类（ROC曲线下的ChexDet区域[AUC]：0.67：Chexnet AUC：0.51; P <.001）和PadChest（ChexDet AUC：0.78，Chexnet AUC，Chexnet AUC，Chexnet AUC，Chexnet auc：chexnet auc auc：chexnet auc auc auc：0.78，chexnet auc auc： ：0.55; p <.001）。对于所有数据集的大多数异常，例如在内部集合中检测气胸（Chexdet Jacknife替代自由响应ROC的功绩[JAFROC-FOM]：0.87，0.87，CHEXNET JAFROC-FOM：0.113） ; p <.001）和NIH-Chestx-Ray14（Chexdet Jafroc-fom：0.55，Chexnet Jafroc-fom：0.04; p <.001）。总结，细粒的注释克服了快捷方式学习并启用了DL模型，以识别正确的病变模式，从而改善模型的概括性。
translated by 谷歌翻译